深度学习模型在识别医学图像中的发现方面表现出了极大的有效性。但是,他们无法处理不断变化的临床环境,从而带来了来自不同来源的新注释的医学数据。为了利用传入的数据流,这些模型将在很大程度上受益于从新样本中依次学习,而不会忘记先前获得的知识。在本文中,我们通过应用现有的最新持续学习方法介绍了MedMnist收集中连续疾病分类的基准。特别是,我们考虑了三种连续的学习方案,即任务和班级增量学习以及新定义的跨域增量学习。疾病的任务和班级增量学习解决了对新样本进行分类的问题,而无需重新从头开始模型,而跨域增量学习解决了处理源自不同机构的数据集的问题,同时保留了先前获得的知识。我们对表现进行彻底的分析,并研究如何在这种情况下表现出灾难性遗忘的持续学习挑战。令人鼓舞的结果表明,持续学习具有推进疾病分类并为临床环境产生更强大,更有效的学习框架的主要潜力。将公开提供完整基准测试的代码存储库,数据分区和基线结果。
translated by 谷歌翻译
The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.
translated by 谷歌翻译
This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.
translated by 谷歌翻译
未知的非线性动力学通常会限制前馈控制的跟踪性能。本文的目的是开发一个可以使用通用函数近似器来补偿这些未知非线性动力学的前馈控制框架。前馈控制器被参数化为基于物理模型和神经网络的平行组合,在该组合中,两者都共享相同的线性自回旋(AR)动力学。该参数化允许通过Sanathanan-Koerner(SK)迭代进行有效的输出误差优化。在每个Sk-itteration中,神经网络的输出在基于物理模型的子空间中通过基于正交投影的正则化受到惩罚,从而使神经网络仅捕获未建模的动力学,从而产生可解释的模型。
translated by 谷歌翻译
脑电图(EEG)是一种了解大脑如何处理语音的有力方法。为此目的,已通过深层神经网络替换了线性模型,并产生令人鼓舞的结果。在相关的脑电图分类字段中,表明明确建模主题不变特征可改善模型跨主题和福利分类精度的概括。在这项工作中,我们适应分解的分层变分自动编码器来利用同一刺激的平行脑电图记录。我们将脑电图模拟为两个分离的潜在空间。受试者的准确性分别在受试者和内容潜在空间上分别达到98.96%和1.60%,而二进制内容分类实验的精度分别达到了51.51%和62.91%的准确性,对受试者和内容潜在空间的准确性分别为51.51%和62.91%。
translated by 谷歌翻译
医学图像分割的深度学习模型可能会出乎意料地且出乎意料地失败,而与训练图像相比,在不同中心获得的病理案例和图像,标签错误违反了专家知识。此类错误破坏了对医学图像细分的深度学习模型的可信赖性。检测和纠正此类故障的机制对于将该技术安全地转化为诊所至关重要,并且可能是对未来人工智能法规(AI)的要求。在这项工作中,我们提出了一个值得信赖的AI理论框架和一个实用系统,该系统可以使用后备方法和基于Dempster-Shafer理论的失败机制增强任何骨干AI系统。我们的方法依赖于可信赖的AI的可行定义。我们的方法会自动放弃由骨干AI预测的体素级标签,该标签违反了专家知识,并依赖于这些体素的后备。我们证明了拟议的值得信赖的AI方法在最大的报告的胎儿MRI的注释数据集中,由13个中心的540个手动注释的胎儿脑3D T2W MRI组成。我们值得信赖的AI方法改善了在各个中心获得的胎儿脑MRI和各种脑异常的胎儿的最先进的主链AI的鲁棒性。
translated by 谷歌翻译
在文献中提出了以计算可处理方式指定规范人工制品(规范,合同,政策)的几种解决方案。已提出法律核心本体,以系统化与规范性推理相关的概念和关系。但是,在那些方面没有解决一般接受,并且没有识别出常见的地面(代表性计算),使我们能够轻松地比较它们。然而,所有这些努力共享代表规范性指令的相同动机,因此它可能有可能存在包含所有的代表性模型。此演示文稿将引入DPCL,用于指定以HOHFELD基本法律概念框架为中心的更高级别的策略(包括规范,合同等)的域特定语言(DSL)。 DPCL必须主要作为“模板”,即建筑参考的信息模型,而不是完全成熟的正式语言;它旨在明确规范规范语言应该预期的一般要求。在这方面,它相当朝着法律核心本体的方向,但不同于那些,我们的提议旨在保持DSL的特征,而不是一组逻辑框架中的一组公理:它意味着交叉编译向基础语言/工具充足于目标应用类型。我们在此提供一些语言功能的概述。
translated by 谷歌翻译
我们通过与与前面令牌的局部相似度,通过调节从大语料库检索的文档块来增强自动回归语言模型。尽管使用25美元\时分,我们的检索增强型变压器(RetroCro)的检索增强型变压器(RetroCr)对GPT-3和侏罗纪-1获得了可比性的性能。微调后,复古表演转换为下游知识密集型任务,如问题应答。复古结合了冷冻BERT猎犬,一种可微分的编码器和块状的横向机制,以预测基于数量级的令牌,而不是训练期间通常消耗的数量。我们通常从头开始训练复古,还可以快速改造预先接受的变压器,通过检索,仍然达到良好的性能。我们的工作通过以前所未有的规模开辟了通过显式内存改进语言模型的新途径。
translated by 谷歌翻译
最近的工作表明,难以察觉的扰动可以应用于工艺未被动实施例(ULE),即其内容不能用于改善训练期间的分类器的图像。在本文中,我们揭示了研究人员应遵循的道路,因为它们最初制定了(Uleos)。本文进行了四项贡献。首先,我们展示了Uleos利用颜色,因此,可以通过简单的灰度预过滤来减轻它们的效果,而无需诉诸对抗性培训。其次,我们向Uleos提出了一个延伸,它被称为uleo-grayaugs,这将通过在优化期间利用灰度知识和数据增强来迫使所产生的ules远离频道明智的颜色扰动。第三,我们表明,在复杂的卷积神经网络(CNN)分类器的情况下,使用多层的Perceptrons(MLP)产生的Uleos是有效的,这表明CNN遭受了对电机的特定漏洞。第四,我们证明当分类器培训ULEOS时,对抗性训练将防止在清洁图像和对抗性图像上测量的准确度。在一起,我们的贡献代表了不可见的例子的艺术状态的大量进展,但也揭示了他们行为的重要特征,必须更好地理解,以实现进一步的改进。
translated by 谷歌翻译
异常气道扩张,称为牵引支气管扩张,是特发性肺纤维化(IPF)的典型特征。体积计算断层扫描(CT)成像捕获IPF中逐渐变细的丢失。我们假设气道异常的自动化量化可以提供IPF疾病程度和严重程度的估算。我们提出了一种自动化计算管道,系统地将气道树木从基于深度学习的气道分割中划分到其裂片和世代分支,从而从胸部CT获得气道结构措施。重要的是,透气阻止通过厚波传播的杂散气道分支的发生,并通过图表搜索去除气道树中的环,克服现有气道骨架算法的限制。在14名健康参与者和14名IPF患者之间比较了透气段(跨空间)和透气曲线曲线之间的逐渐变化。 IPF患者中,Airway interberering显着降低,与健康对照相比,Airway曲线曲调显着增加。差异在下叶中最大标记,符合IPF相关损伤的典型分布。透气是一种开源管道,避免了现有的气道定量算法的限制,并具有临床解释性。自动化气道测量可能具有作为IPF严重程度和疾病程度的新型成像生物标志物。
translated by 谷歌翻译